課程大綱：

Apache Kafka 基礎(chǔ)入門(mén)培訓(xùn)

課程以 Java 代碼實(shí)戰(zhàn)的方式學(xué)習(xí) Kafka。

包括 Kafka 的安裝配置、Producer API 的使用、

Consumer API 的使用以及與第三方框架 Flume、Spark Streaming 的集成開(kāi)發(fā)。

1 MQ 消息系統(tǒng)的概念

2 Zookeeper 和 Kafka 的關(guān)系

3 使用 Java 調(diào)用 Kafka topic 相關(guān) API

4 Producer 入門(mén)開(kāi)發(fā)

5 Consumer 入門(mén)開(kāi)發(fā)

6 Kafka 整合 Flume

7 Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)實(shí)戰(zhàn)

8 Kafka 消息系統(tǒng)的基本架構(gòu)

9 使用 shell 命令修改和刪除 topic

10 查看 Kafka 中消息的存儲(chǔ)位置

11 Producer 進(jìn)階開(kāi)發(fā)

12 Consumer 進(jìn)階開(kāi)發(fā)

13 Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)實(shí)戰(zhàn)

14 Spark 2.0 讀取 Kafka 數(shù)據(jù)實(shí)戰(zhàn)

1
Kafka，

1.了解MQ消息系統(tǒng)的概念

2.理解Kafka消息系統(tǒng)的基本架構(gòu)

3.安裝單機(jī)版Kafka集群

4.使用Shell命令創(chuàng)建Topic

5.使用Consumer、Producer發(fā)送和接收消息

2
理解 Kafka 集群

1.理解Zookeeper和Kafka的關(guān)系

2.理解broker、topic、producer、consumer、partition等專(zhuān)有術(shù)語(yǔ)

3.用本節(jié)的專(zhuān)業(yè)術(shù)語(yǔ)重新回顧上節(jié)課的實(shí)驗(yàn)

3
理解 Kafka topic

1.使用shell命令修改topic、刪除topic

2.使用Java語(yǔ)言調(diào)用Kafkatopic相關(guān)API

3.查看Kafka中消息的存儲(chǔ)位置

4
Producer 開(kāi)發(fā)入門(mén)

1.開(kāi)發(fā)Producer程序的基礎(chǔ)知識(shí)

2.開(kāi)發(fā)Java程序發(fā)送消息到Kafka集群

3.學(xué)習(xí)如何創(chuàng)建一個(gè)KafkaProducer和ProducerRecord對(duì)象

4.學(xué)習(xí)如何使用默認(rèn)的partitioner和serializer發(fā)送消息

5
Producer 開(kāi)發(fā)進(jìn)階

1.畫(huà)圖展示producer發(fā)送消息到Kafka的過(guò)程

2.從源碼級(jí)別理解producer發(fā)送消息的過(guò)程

3.開(kāi)發(fā)自定義partitioner分區(qū)器

6
Consumer 開(kāi)發(fā)入門(mén)

1.理解消費(fèi)者組的概念

2.學(xué)習(xí)開(kāi)發(fā)consumer程序的基本步驟

3.編程控制消費(fèi)指定offset的消息

7
Consumer 開(kāi)發(fā)進(jìn)階

1.消息offset的同步提交

2.消息offset的異步提交

3.按partition維度提交offset

4.按處理的消息量提交offset

8
Kafka 整合 Flume

1.Flume的安裝和配置

2.Flume接收命令行消息發(fā)送到Kafka

9
Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)

1.使用Java開(kāi)發(fā)消息發(fā)送程序Producer

2.使用Java開(kāi)發(fā)消息讀取程序Consumer

10
Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)

1.發(fā)送和接收?qǐng)D片數(shù)據(jù)

2.發(fā)送和接收視頻數(shù)據(jù)

11
Spark 2 整合 Kafka

1.使用Eclipse搭建Spark20開(kāi)發(fā)環(huán)境

2.使用Sparkstreaming讀取Kafka數(shù)據(jù)，輸出到console